【python爬虫】之Scrapy框架概述并安装配置

介绍Scrapy框架的主体以及各个组件的意义。 介绍Scrapy的安装，功能以及各组件的作用使用Scrapy的一些方法，介绍Scrapy的安装，功能以及各组件的作用

1.Who is Scrapy ? Scrapy 是一种快速的高级 web crawling 和 web scraping 框架，用于对网站进行爬网并从其页面提取结构化数据。

Scrapy官网 ：https://scrapy.org/ Scrapy开发文档 ：https://docs.scrapy.org/en/latest/

2.Why study Scrapy ?

2.1 scrapy框架能够让我们的爬虫效率更高 2.2 能够让开发过程方便、快速 2.3 Scrapy是一个为了爬取网站数据，提取结构性数据，高性能的持久化存储而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。

概述 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

一般的爬虫流程 改进后爬虫流程，高内聚，低耦合

Spiders : Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

Spider中间件(Spider middlewares)：Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

Scrapy Engine ：引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

调度器(Scheduler) ： 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器中间件(Downloader middlewares) ：下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response（也包括引擎传递给下载器的Request）。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

下载器(Downloader) ：下载器负责获取页面数据并提供给引擎，而后提供给spider。

Item Pipeline ： Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。

数据流(Data flow) ： 1.引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。 2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。 3.引擎向调度器请求下一个要爬取的URL。 4.调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。 5.一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。 6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。 7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。 8.引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。 9.(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

安装框架 ： pip install scrapy 创建项目 ： scrapy startproject (项目名称) 如:这里我的爬虫项目名为gxrc，这里你进入一个想把爬虫项目放的位置 这样就创建好项目了。

创建爬虫 ： cd [(项目名称) ，后scrapy genspider [爬虫的名字] [目标网址域名] gx是爬虫的名字，后面是目标网址，这里已百度为例。 到这里之后爬虫项目就创建好了，这些就是项目结构。

启动爬虫的方法 ： scrapy crawl [爬虫的名字]

到这里scapy的项目配置就结束了，快去配置你的项目scrapy吧，别忘了给个关注。